home *** CD-ROM | disk | FTP | other *** search
/ Internet Info 1994 March / Internet Info CD-ROM (Walnut Creek) (March 1994).iso / inet / ietf / opstat / opstat-minutes-90dec.txt < prev    next >
Encoding:
Text File  |  1993-02-17  |  10.6 KB  |  342 lines
  1.  
  2.  
  3. CURRENT_MEETING_REPORT_
  4.  
  5.  
  6. Reported by Phill Gross/CNRI, Steve Hunter/LBL
  7. Bernhard Stockman/Nordunet and Dale Johnson/Merit
  8.  
  9. OPSTAT Minutes
  10. The inaugural meeting of the Opstats Working Group was convened by
  11. Bernhard Stockman and Phill Gross.  The primary purpose of the meeting
  12. was to decide on how the NOCs could most effectively share their
  13. operational statistics.  Phill presented a model of data sharing (see
  14. below).
  15.  
  16.    _______________                 ______________
  17.    |     New     |                 |    Old     |
  18.    |  Collection |                 | Collection |
  19.    |     Tool    |                 |    Tool    |
  20.    |_____________|                 |____________|
  21.                 \                       |
  22.                  \               ________|________
  23.                   \              | Pre-Processor |
  24.                    \             |_______________|
  25.                     \             /
  26.                      \           /
  27.                      \         /
  28.                       __________
  29.                      /  Common  \
  30.                      / Statistics \
  31.                      \  Database  /
  32.                      \__________/
  33.                      /        \
  34.                      /          \
  35.                     /            \
  36.                    /              \
  37.                   /              __________________
  38.                  /               | Post-Processor |
  39.                 /                |________________|
  40.                /                        |
  41.    ________________               _______|________
  42.    |     New      |               |     Old      |
  43.    | Presentation |               | Presentation |
  44.    |     Tool     |               |     Tool     |
  45.    |______________|               |______________|
  46.  
  47.  
  48.  
  49.                                    1
  50.  
  51.  
  52.  
  53.  
  54.  
  55.  
  56. This model was based on previous work in the NJM working group and on
  57. work by Bernhard at the Nordic Engineering Technical Forum (NETF). The
  58. goal is to define, implement, and make available in the public domain,
  59. the tools required for the model.  Issues
  60.  
  61.  
  62.    o Legal, ethical and political concerns of data sharing.  People are
  63.      concerned about showing data that may make one of the networks look
  64.      bad.
  65.    o Insure integrity, conformity and confidentiality of the shared
  66.      data.  To be useful, the same data must be collected from all of
  67.      the involved sites and it must be collected at the same interval.
  68.      To prevent vendors from getting an unfair performance information,
  69.      certain data must not be made available.
  70.    o Access control methods.  Both of the above make this an obvious
  71.      requirement.
  72.  
  73.  
  74. Mailing list
  75.  
  76. Chris Myers (chris@wugate.wustl.edu) will set up the WG mailing list --
  77. (oswg-l@wugate.wustl.edu).  Listserv commands can be sent to
  78. listserv@wugate.wustl.edu (e.g., help, add).
  79.  
  80. List of Desired Operational Statistics
  81.  
  82. The group brainstormed a list of desired operational statistics.  We
  83. began by laying out categories of important operational statistics:
  84.  
  85.  
  86.    o UTILIZATION (throughput)
  87.       -  traffic totals/period
  88.       -  traffic peaks/period
  89.       -  protocol usage/period
  90.    o PERFORMANCE (delays, congestions)
  91.       -  Ping statistics
  92.       -  TCP RTT estimate
  93.    o AVAILABILITY (long term accessability)
  94.  
  95.       -  Line availability (percentage line uptime)
  96.       -  Route availability
  97.       -  Service availability
  98.  
  99.    o STABILITY (short term accessability)
  100.  
  101.       -  Number of line status transitions per time unit
  102.       -  ICMP behaviour
  103.       -  Route stability.  (Compare to work done at Merit)
  104.  
  105.                                    2
  106.  
  107.  
  108.  
  109.  
  110.  
  111.  
  112.           * Total number of route changes per time unit.
  113.           * Total number of routes per interface and box (dumping the
  114.             Route table is hard with the SNMP powerful GETNEXT operator,
  115.             maybe add to MIB)
  116.           * Next Hop count
  117.           * Changes in traffic pattern
  118.  
  119.  
  120. Both Availabilty and Stability would need asynchronous mechanisms,
  121. traps, etc.  to be defined.
  122.  
  123. The next step was to define specific objects from the above categories.
  124. It was recognized that not all this information might be easy to obtain.
  125. Therefore, a "degree of difficulty" was assigned to each desired
  126. statistic.  The list of desired operational statistics is below, where
  127. the "degree of difficulty" is noted as:
  128.  
  129.  
  130.   1. ( E) Easy, Variables already in standard MIB thus easy to retrieve.
  131.   2. (HP) Hard, Variables that need high resolution polling which is
  132.      hard due to resulting network load.
  133.   3. (HM) Hard, Variables sometimes in private enterprise MIB thus could
  134.      be hard to retrieve.
  135.   4. ( I) Impossible, Variables not at all in the MIB thus impossible to
  136.      retrieve using SNMP. Some variables could be proposed for future
  137.      inclusion in MIB, but some variables cannot be retrieved by SNMP
  138.      due to limitations in the SNMP specification.
  139.  
  140.  
  141. For each interface:
  142.  
  143.    Packets in                       (E)
  144.             (for each protocol)      (I)
  145.    Packets out                      (E)
  146.             (for each protocol)      (I)
  147.    Octets in                        (E)
  148.    Octets out                       (E)
  149.    Aggregate errors in               (HM)
  150.    Aggregate errors out              (HM)
  151.    Congestion events in              (HM)
  152.    Congestion events out             (HM)
  153.    Seconds of missing statistics     (HP)
  154.    Interface resets                  (HM)
  155.     % interface unavailable          (HP)
  156.    Routing Changes                   (HM)
  157.    Interface route hop count         (HP)
  158.    A distribution of queue length    (HP)
  159.    Inter-packet arrival time         (I)
  160.    Packet size distribution          (I)
  161.    Line status                      (E)
  162.  
  163.                                    3
  164.  
  165.  
  166.  
  167.  
  168.  
  169.  
  170.  
  171. for the node:
  172.  
  173.    Packets forwarded (for each protocol)
  174.             IP-                     (E)
  175.             DECnet-                  (HM)
  176.             OSI-                     (I)
  177.    Packet size distribution          (HP)
  178.    IP packets dropped for queue overflow(I)
  179.    sysUpTime                        (E)
  180.  
  181.  
  182. Therefore, the following metrics were chosen as desireable and
  183. reasonable:
  184.  
  185. For each Interface:
  186.  
  187.  
  188.    o Octets in
  189.    o Octect out
  190.    o Unicast packets in
  191.    o Unicast packets out
  192.    o Nonunicast packets in
  193.    o Nonunicast packets out
  194.    o In discards
  195.    o Out discards
  196.    o Line status
  197.    o Number of routes in table(s) (If we can get it into the MIB)
  198.    o Number of route changes (If we can get it into the MIB)
  199.  
  200.  
  201. For the node:
  202.  
  203.  
  204.    o IP forwards
  205.    o IP discards
  206.    o sysUpTime
  207.  
  208.  
  209. Polling frequency
  210.  
  211. After much discussion, it was decided that all participating NOCs should
  212. poll at fifteen minute intervals, or some interval which has fifteen
  213. minutes as an integer multiple.  A five minute interval was desired by
  214. some, but it requires too much disk and CPU resources unless it can be
  215. shown to be obviously superior.  An alternative suggestion was to poll
  216. fast, like every five minutes, but just store the high, low, and average
  217. values once per hour.  This may also be researched.
  218.  
  219.                                    4
  220.  
  221.  
  222.  
  223.  
  224.  
  225.  
  226. Common Data Storage Format (CDSF)
  227.  
  228. It was proposed that the data be stored as a flat file with the
  229. following format:
  230.  
  231.  
  232.  
  233.    o Header Record:  This will be a table of tag identifiers.  A tag
  234.      will be defined which uniquely identifies each data value as to its
  235.      source node and data type.
  236.    o Data Records:  Timestamp [TAB] Delta Time [TAB] tag [TAB] Object
  237.      Value Where:
  238.  
  239.       -  Timestamp - yyyymmddhhmmssxxx and xxxx is the offset from GMT
  240.       -  Delta Time - time, in seconds, since last poll
  241.       -  Tag - Unique identifier defined above (ASCII string)
  242.       -  Object Value- Change in SNMP counter or current status
  243.  
  244.  
  245. Data Presentation
  246.  
  247. We will take this issue up in more detail at the next meeting.  It was
  248. suggested that we study network status reports in the next Topology
  249. Engineering Working Group to get ideas about diplay format.  Phill Gross
  250. will ask the presenters at the next TEWG to give thought to how they
  251. like to see operational data presented.
  252.  
  253. Data Collection Tools
  254.  
  255. We will take this issue up in more detail at the next meeting.
  256.  
  257. We need to consider the following in more detail:
  258.  
  259.  
  260.    o SNMP based
  261.    o NNstat
  262.    o Ad Hoc scripts and methods (many folks have ad hoc methods in use)
  263.    o Performance and Benchmarking tools and methods
  264.  
  265.  
  266. Other notes:
  267.  
  268. Related work is being done by the following IETF WGs -- Remote LAN,
  269. BMWG, NJM, TEWG. The following European groups are also doing work in
  270. this area -- RIPE and NETF groups.  MERIT has been working quite a bit
  271.  
  272.                                    5
  273.  
  274.  
  275.  
  276.  
  277.  
  278.  
  279. on this for the last four months.  A good reference for data display
  280. formats is ``The Display of Quantitative Information'' by Edward R.
  281. Tufte, published by Graphics Press, Box 430, Cheshire, CT 06410, c1983.
  282.  
  283. Attendees
  284.  
  285. Guy Almes                almes@rice.edu
  286. Anne Ambler              anne@spider.co.uk
  287. Karl Auerbach            karl@eng.sun.com
  288. Scott Bradner            sob@harvard.edu
  289. Randy Butler             rbutler@ncsa.uiuc.edu
  290. Tom Easterday            tom@nisca.ircc.ohio-state.edu
  291. Fred Engel               engel@concord.com
  292. Mike Erlinger            mike@mti.com
  293. Vince Fuller             vaf@Standford.EDU
  294. Phillip Gross            pgross@nri.reston.va.us
  295. Jack Hahn                hahn@umd5.umd.edu
  296. Susan Hares              skh@merit.edu
  297. Eugene Hastings          hastings@psc.edu
  298. Steven Hunter            hunter@es.net
  299. Dale Johnson             dsj@merit.edu
  300. Ken Jones                uunet!konkord!ksj
  301. Dan Jordt                danj@cac.washington.edu
  302. Christopher Kolb         kolb@psi.com
  303. Walter Lazear            lazear@gateway.mitre.org
  304. Daniel Long              long@bbn.com
  305. E. Paul Love             loveep@sdsc.edu
  306. Marilyn Martin           martin@netcom.ubc.ca
  307. Matt Mathis              mathis@pele.psc.edu
  308. Milo Medin               medin@nsipo.nasa.gov
  309. Cyndi Mills              cmills@bbn.com
  310. Lynn Monsanto            monsanto@sun.com
  311. Donald Morris            morris@ucar.edu
  312. Chris Myers              chris@wugate.wustl.edu
  313. David O'Leary            oleary@noc.sura.net
  314. Mark Oros                oros@nmc.cit.cornell.edu
  315. Robert Reschly           reschly@brl.mil
  316. Bill Rust                wjr@ftp.com
  317. Timothy Salo             tjs@msc.edu
  318. Jonathan Saperia         saperia@tcpjon.enet.dec.com
  319. Ken Schroder             schroder@bbn.com
  320. Michael Schwartz         schwartz@boulder.colorado.edu
  321. Marc Sheldon             ms@uni-dortmund.de
  322. Bernhard Stockman        boss@sunet.se
  323. Roxanne Streeter         streeter@nsipo.nasa.gov
  324. Joanie Thompson          joanie@nsipo.nasa.gov
  325. Kannan Varadhan          kannan@oar.net
  326. Steven Waldbusser        waldbusser@andrew.cmu.edu
  327. Carol Ward               cward@spot.colorado.edu
  328. Dan Wintringham          danw@osc.edu
  329. C. Philip Wood           cpw@lanl.gov
  330. Jessica (Jie Yun) Yu     jyy@merit.edu
  331.  
  332.                                    6
  333.  
  334.  
  335.  
  336.  
  337.  
  338.  
  339.  
  340.  
  341. 7
  342.